プレビュー提供中の、BigQuery MLからVertex AIのAnthropic Claudeモデルを利用する方法を確認してみた

BigQuery MLのML.GENERATE_TEXT関数からVertex AIのAnthropic Claudeモデルを、プレビュー提供で利用できるようになりました。

#BigQuery ML

#BigQuery

#Claude

#Google Cloud (GCP)

#Anthropic

nayu.t.s

2024.09.07

データ事業本部インテグレーション部機械学習チームの鈴木です。

8月末にプレビュー提供で、BigQuery MLからVertex AIのAnthropic Claudeモデルを利用できるようになったアナウンスがありました。

BigQuery MLから利用できるLLMの種類が増えると、BigQuery内のデータを処理するためのモデルの選択肢が広がって嬉しいので、早速試してみました。

なお、プレビュー提供版ですので、内容は記事執筆時点のものになります。

紹介したい機能について

今回紹介するアップデートは、マネージドAPIとして提供されているAnthropic ClaudeモデルをリモートモデルとしてBigQueryに設定することで、ML.GENERATE_TEXT関数で利用できるというものになります。

以下の関数のガイドにもClaudeの情報が追加されています。

マネージドAPIは、Vertex AIが提供するデプロイ不要なLLMのAPIになります。現時点では Anthropic Claudeを含むいくつかのパートナーモデルが提供されています。Anthropic ClaudeのマネージドAPI自体は一般提供されています。

BigQuery MLから利用できるパートナーモデルのマネージドAPIは、Anthropic Claudeが初めてになります。

マネージドAPIの料金については以下にガイドに記載があります。

利用例の紹介

利用までに必要な内容

BigQueryで使用するにあたって、以下の内容を行う必要があります。

Anthropic Claudeの使用したいモデルのマネージドAPIを有効化する。
BigQueryで外部接続を作成する。
BigQueryでリモートモデルを作成する。
BigQueryでML.GENERATE_TEXT関数を使い、マネージドAPIにリクエストを送る。

手順はML.GENERATE_TEXT関数のガイドを主に参考にしました。

1. マネージドAPIの有効化

Model GardenでマネージドAPIを有効化します。今回はClaude 3.5 Sonnetを利用しました。

Model GardenでClaude 3.5 Sonnetのモデルカードを開きました。

スクリーンショット 2024-09-07 に 14.29.54 午後

スクリーンショット 2024-09-07 に 14.30.51 午後

有効にするをクリックしました。有効化にあたり、利用規約と料金に関する承諾が求められるため、内容を確認して同意しました。

今回はBigQueryのSQLから利用しますが、モデルカードではPythonやCurlなどでのモデルの利用方法について紹介されているため、全般的な使い方について参考になるので一読することをお勧めします。

2. BigQueryで外部接続・リモートモデルを作成

BigQueryでモデルにアクセスするための設定を行いました。

手順自体は以前ご紹介したtext-bisonのものと同じなため、ポイントとなる点を中心にご紹介します。

まず、外部データソースのリージョンはus-east5を選びました。記事執筆時点では、Claude 3.5 SonnetのマネージドAPIはus-east5およびeurope-west1で提供されているためです。

スクリーンショット 2024-09-07 に 14.44.47 午後

外部接続が作成できたら、外部接続のサービスアカウントにVertex AIユーザーを追加しておきました。

スクリーンショット 2024-09-07 に 14.47.34 午後

次にリモートモデルを作成しました。まず、us-east5のデータセットを作成しました。

スクリーンショット 2024-09-07 に 14.49.11 午後

以下のSQLでリモートモデルを作成しました。(プロジェクトIDは自身のものに置き換えてください)

CREATE OR REPLACE MODEL
`プロジェクトID.claude_sample.vertex_ai_claude_sonnet35`
REMOTE WITH CONNECTION `プロジェクトID.us-east5.claude35sonnet`
OPTIONS (ENDPOINT = 'claude-3-5-sonnet@20240620');

ENDPOINTで使用するモデルを指定しました。今回はモデルカードで表示されていたバージョン付きのclaude-3-5-sonnet@20240620を指定しました。バージョンを指定しない場合は、モデルの最新バージョンが使用されます。

3. テキストの生成

接続ができたので、SQLからLLMを利用しました。

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `プロジェクトID.claude_sample.vertex_ai_claude_sonnet35`,
  (
      SELECT '次の文章の感情を教えてください：今日は暖かくて過ごしやすい日なので嬉しいです。' AS prompt
  ),
  STRUCT(
    100 AS max_output_tokens, 0.5 AS top_p,
    40 AS top_k, TRUE AS flatten_json_output)
);